import tiktoken

# 初始化编码器（GPT-4使用cl100k_base）
encoder = tiktoken.get_encoding("cl100k_base")

# 文本编码为令牌ID列表
text = "Hello, 世界!"
tokens = encoder.encode(text)
print(tokens)  # 输出如[9906, 11, 191, 191, 123]

# 解码回文本
decoded_text = encoder.decode(tokens)
print(decoded_text)  # 输出"Hello, 世界!"
